ЭКОНОМЕТРИКА И ЕЕ ПРЕПОДАВАНИЕ НА КАФЕДРЕ 
"ЭКОНОМИКА И ОРГАНИЗАЦИЯ ПРОИЗВОДСТВА"

Профессор, доктор технических наук А.И.Орлов

	Кафедра "Экономика и организация производства" факультета "Инженерный бизнес и менеджмент" Московского государственного технического университета им.Н.Э.Баумана ведет работу по расширению преподавания эконометрики [1]. Как общепринято, “статистический  анализ экономических данных называется эконометрикой” [2, с.25]. 
	В  мировой науке  эконометрика  занимает  достойное место. Нобелевские премии по экономике получили эконометрики  Ян Тильберген, Рагнар  Фриш,  Лоуренс Клейн,  Трюгве Хаавельмо. Выпускается ряд научных журналов, полностью посвященных эконометрике, в том числе: Journal of Econometrics (Швеция), Econometric Reviews (США), Econometrica (США),Sankhya. Indian Journal of Statistics. Ser.D. Quantitative Economics (Индия), Publications Econometriques (Франция). Применение эконометрики дает заметный экономический эффект [3], в США - не менее 20 миллиардов долларов ежегодно только в области статистического контроля качества. В секции “Математические методы исследования” журнала “Заводская лаборатория” за последние 35 лет напечатано более 1000 статей по статистическим методам и их применению. Однако в нашей стране эконометрика  не была сформирована  как  самостоятельное  направление научной и практической деятельности, в отличие, например, от Польши, которая стараниями О.Ланге и его коллег покрыта сетью эконометрических "институтов" (в российской терминологии - кафедр вузов). 
	В настоящее время в России начинают развертываться эконометрические исследования. Преподавание этой дисциплины ведется в Московском государственном университете экономики, статистики и информатики (МЭСИ), на экономическом факультете МГУ им.М.В.Ломоносова и еще в нескольких экономических учебных заведениях. Среди технических вузов МГТУ им.Н.Э.Баумана имеет в настоящее время приоритет в области преподавания эконометрики. 
	Преподавание эконометрических знаний на кафедре "Экономика и организация производства" опирается на давно сложившиеся курсы "Теория вероятностей и математическая статистика" (входит в систему математических дисциплин) и “Статистика” (Г.В.Русанова, Л.С.Горчакова) и представляет собой их дальнейшее развитие. Эконометрика - основное содержание курсов "Экономика отрасли", "Математические методы прогнозирования", "Прогнозирование и технико-экономическое планирование в отрасли" (А.И.Орлов). Отдельные эконометрические темы включены в учебную программу по другим предметам, в частности, по технико-экономическому анализу (Н.Н.Савченко), маркетингу (Э.Б.Мазурин). Эконометрические методы необходимы для информационной поддержки контроллинга (С.Г.Фалько [4]). По эконометрике выполняются диссертационные (Д.Н.Алешин, Д.Л.Волков) и дипломные (в 1999 г. - 4) работы. Назрела необходимость выделения эконометрики как отдельной дисциплины, а в перспективе - постановки цикла учебных курсов, как это сделано в Высшей школе экономики при Минэкономики РФ. 
	Приведем примерное содержание эконометрики как учебной дисциплины. Комментарии к разделам курса показывают их место в современной эконометрике и необходимость включения соответствующего материала в учебную программу. В процессе создания Всесоюзной статистической ассоциации (1989-1990 гг.) нам пришлось разбираться [5] с вопросами внутренней структуры статистических методов вообще и эконометрики в частности, и полученные тогда выводы легли в основу  предлагаемой программы. Оказались полезными и научные результаты, полученные в ходе выполнения госбюджетной НИР "Разработка новых эконометрических методов управления промышленным предприятием" (А.И.Орлов, С.Г.Фалько, Г.В.Русанова, Л.С.Горчакова, Д.Н.Алешин, Д.Л.Волков).
	Следует подчеркнуть, что в техническом вузе тематика эконометрики должна быть существенно расширена по сравнению с ее преподаванием в чисто экономическом учебном заведении. В частности, необходимо включить эконометрику качества. Поэтому недавно выпущенные курсы типа [6-9] представляются недопустимо сужающими эконометрику. Особенно важным представляется развертывание наиболее современных разделов эконометрики - статистики нечисловых и интервальных данных, отсутствующих в [6-9]. Курс эконометрики должен быть увязан со многими иными учебными предметами, посвященными  менеджменту, маркетингу, экологии, стандартизации, метрологии и управлению качеством, инвестиционной, инновационной, контрольной и контроллинговой деятельности, оценке финансового состояния предприятия, прогнозированию и технико-экономическим планированию, экономико-математическим моделированию производственных систем и др.
	1.  Статистика и эконометрика. Структура современной статистики: математическая статистика, прикладная статистика, применения статистических методов в конкретных областях. Развитие статистики в России и СССР. Определение эконометрики как науки о применении статистических методов для анализа конкретных экономических данных. Структура эконометрики - методы, модели, применения. Особенности экономических данных и их учет при применении методов прикладной статистики. Понятие об эконометрических моделях (на примерах моделей управления качеством, анализа экспертных оценок и др.). Понятие о конкретных применениях эконометрики (на примере динамики цен и индекса инфляции).
	Остановимся подробнее на одном из наиболее интересном для студентов разделе эконометрики - изучении динамики цен с помощью индексов инфляции.
	Проблемы и методы анализа динамики цен. Инфляция как рост цен  Проблемы построения сводной характеристики роста цен. Потребительские корзины и расчет индексов инфляции. Динамика инфляции в России. Теорема умножения (связь между значениями индексов инфляции для трех значений времени) и средний индекс (темп) инфляции как среднее геометрическое. Распространенные ошибки при агрегировании индексов инфляции. Связь годового индекса с помесячными и средним за год. Теорема сложения для индекса инфляции (правило объединения индексов инфляции для отдельных товарных групп). Применения индекса инфляции в различных экономических расчетах.  Приведение к сопоставимым ценам. Сравнение средней заработной платы, пенсий, стипендий в различные моменты времени. Реальные результаты индексирования заработной платы и пенсий. Методы определения прожиточного минимума, его динамика. Учет индекса инфляции при расчете реального значения процента на вклад в банк и платы за кредит. Как процент платы за кредит может быть отрицательным? Оценка динамики курса доллара США в России с помощью потребительских паритетов, сравнение с Китаем. Применение индекса инфляции при оценке стоимости основных и оборотных фондов. Прогнозирование индекса инфляции и стоимости потребительской корзины. Применение индекса инфляции при организации производства. Конверсия, индекс инфляции и сохранность технологических цепочек. Использование индекса инфляции при финансовом анализе результатов деятельности предприятий.  
	2. Современная прикладная статистика и эконометрические методы. Области современных статистических методов: статистика чисел (случайных величин), статистика векторов (многомерный статистический анализ), статистика функций (случайных процессов и временных рядов), статистика нечисловых данных. Современная прикладная статистика и эконометрика. Пять “точек роста”: непараметрическая статистика, устойчивость статистических процедур, размножение выборок,  статистика нечисловых данных, статистика интервальных данных. 
	 Так как необходимо показать студентам современный фронт эконометрических исследований, кратко разбираем основные “точки роста”, т.е. направления, которые в настоящее время активно развиваются, полезны для практики, но недостаточно представлены в стандартных учебниках. Первым из них указаны непараметрические методы.  Хорошо известно, что распределения реальных данных почти никогда не удается адекватно описать с помощью какого-либо параметрического семейства. В частности, распределения погрешностей измерений, вопреки распространенному заблуждению, почти всегда отличны от нормальных [10].  В настоящее время непараметрическими методами можно решать тот же круг задач, что и параметрическими. 	  
	Общая схема изучения устойчивости эконометрических и экономико-математических методов и моделей выводов по отношению к допустимым отклонениям исходных данных и предпосылок модели дана в книге [11].  Выводы могут быть неожиданными. Так,  крайне неустойчивыми оказались [12] классические методы отбраковки резко выделяющихся наблюдений (выбросов). Общеинженерным принципом является указание не только точечного значения измеряемой величины, но и погрешности этого измерения. Требование изучения устойчивости эконометрических  выводов нацелено на внедрение указанного общеинженерного принципа в область экономики, инженерного бизнеса и менеджмента. Одним из подходов является статистика интервальных данных (СИД). В ней прослеживается, как погрешности исходных данных влияют на погрешности выводов, а для этого и исходные данные, и выводы приходится описывать с помощью интервалов, а не чисел, как в классической статистике. Другой подход к изучению устойчивости предполагает интенсивное использование современной вычислительной техники и основан на "размножении выборок". По выборке можно рассчитать одно число - точечную оценку характеристики или параметра, но этого мало - надо иметь доверительный интервал, т.е. нижнюю и верхнюю границы, между которыми с заданной вероятностью находится истинное значение. Параметрическая теория позволяет это сделать, но ее предпосылки зачастую неприемлемы. Поэтому вполне естественным является желание "размножить выборку" - вместо одной получить много похожих, по каждой из них рассчитать оценку, а по совокупности оценок построить распределение оценки, указать доверительный интервал. Метод размножения может быть очень простым: из одной выборки объема n получаем n выборок объема (n-1), если исключать из исходной выборки последовательно по одному элементу (возвращая ранее исключенные обратно).  
	3. Выборочные исследования (опросы). 	Зачем нужны выборочные эконометрические исследования? Анкетное исследование (на примере маркетингового исследования потребителей растворимого кофе). Различные виды формулировок вопросов (открытый, закрытый, полузакрытый вопросы), их достоинства и недостатки. Техника интервью. Экономика опросов. Биномиальная и гипергеометрическая модели выборки, их близость в случае большого объема генеральной совокупности по сравнению с выборкой. Асимптотическое распределение выборочной доли (в случае ответов типа "да"-"нет"). Интервальное оценивание доли и метод проверки  гипотезы о равенстве долей (на основе теоремы Муавра-Лапласа и таблиц ВЦИОМ).
	Изучение конкретных эконометрических методов естественно начать с методов выборочных опросов, практическая польза которых очевидна (разбираем маркетинговое исследование, выполненное по заказу конкретной фирмы), а математическая сложность невелика. Естественным образом возникает сюжет о проверке однородности (обнаружении различий).
	4. Элементы эконометрики чисел. Нормальное и логарифмически нормальное распределение, их плотности, методы оценивание параметров. Центральная предельная теорема в аддитивном и мультипликативном случае. Логарифмически нормальное распределение доходов (заработной платы). Непараметрическое точечное оценивание характеристик распределений и доверительных границ для них. Непараметрические методы оценивания плотности. 
	 Сопоставляются нормальное и логарифмически нормальное распределения. Первое из них иногда допустимо использовать при решении технических задач. В эконометрике его использование некорректно, поскольку плотность нормального распределения всюду положительна, т.е. вероятность отрицательных значений не равна 0, а в эконометрике обычно рассматриваются неотрицательные величины. Основная причина популярности нормального распределения - центральная предельная теорема теории вероятностей, в которой речь идет о суммах большого числа независимых случайных величин. Если же вместо сумм имеем дело с произведениями, то вместо нормального распределения  получаем логарифмически нормальное, сосредоточенное на положительной полуоси. Им можно приближать распределения различных экономических величин, например, доходов населения.  
	При рассмотрении распределения доходов выявляется целесообразность рассмотрения различных видов средних - математического ожидания, медианы, моды. Изучение непараметрической статистики начинаем с непараметрического точечного и доверительного оценивания таких характеристик распределения, как математическое ожидание, медиана, дисперсия, среднее квадратическое отклонение, коэффициент вариации. Завершается раздел рассмотрением непараметрических ядерных оценок плотности распределения, использование которых на базе современной вычислительной техники позволяет существенно сузить область применения гистограмм - классического способа наглядного представления данных, обладающего неустранимыми недостатками - отсутствием обоснования для выбора числа интервалов и потерей информации из-за группирования.    
	5. Методы статистической проверки гипотез однородности. Различные формулировки гипотезы однородности двух выборок (независимых и связанных). Критерий Крамера-Уэлча для проверки равенства математических ожиданий. Эмпирическая функция распределения и основанные на ней непараметрические одновыборочные статистические критерии А.Н.Колмогорова, Н.В.Смирнова, омега-квадрат (Крамера-Мизеса-Смирнова). Проверка гипотезы согласия с параметрическим семейством распределений и распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. Двухвыборочная статистика Вилкоксона (Манна-Уитни) и ее асимптотическая нормальность. Какие выводы можно сделать на основе критерия Вилкоксона? Альтернатива сдвига. Двухвыборочные критерии Смирнова и типа омега-квадрат (Лемана-Розенблатта). Задача обнаружения различия в связанных выборках (письмо главного инженера Рошальского химического комбината). Критерий знаков. Проверка равенства 0 математического ожидания. Одновыборочный критерий Вилкоксона. Проверка симметрии функции распределения относительно 0 с помощью критерия типа омега-квадрат. 
	Эта тема - одна из наиболее примыкающих к классической тематике математической статистики. Однако различия видны с самого начала. Для проверки равенства математических ожиданий двух выборок используем критерий Крамера-Уэлча.  Необходимо обратить внимание на его отличие от критерия Стьюдента, который обычно рассматривают в курсах математической статистики. Критерий Стьюдента опирается на две предпосылки - нормальность распределения обеих выборок и равенства дисперсий у них. Ни одна из предпосылок обычно не выполняется, особенно для экономических данных. Проверку согласия с параметрическим семейством с помощью критериев Колмогорова и омега-квадрат часто включают в учебники по "Общей теории статистики", причем иногда делают это с ошибками [13]. Поэтому уклониться от разбора этого вопроса нельзя. Много недоразумений связано и с двухвыборочным критерием Вилкоксона, самым популярным в переводной литературе [14]. Обсуждение проверки однородности в связанных выборках естественно начать с практической задачи, например, с письма главного инженера Рошальского химического комбината, в котором тот просит установить, есть ли различия в показаниях двух вискозиметров, используемых при производстве мастики. От решения этого вопроса зависит, включать ли в соответствующий государственный стандарт указание на средство измерения вязкости или в этом нет необходимости. 
	6. Понятие о регрессионном анализе. Метод наименьших квадратов для линейной прогностической функции. Вид расчетной таблицы. Оценивание параметров. Критерий правильности расчетов. Точечный и интервальный прогноз. Изменение ширины доверительного интервала при увеличении горизонта прогнозирования. Более общие варианты метода наименьших квадратов. Модель, линейная по параметрам. Преобразования переменных. Оценивание степени и коэффициентов многочлена. Оценка остаточной дисперсии - показателя качества модели.  Непараметрическая регрессия. 
	Регрессионный анализ - одна из наиболее разработанных частей эконометрики. Имеются  многочисленные монографии, посвященные отдельным его направлениям. На его основе построена теория планирования эксперимента, дающая большой экономический эффект (см., например, [15]). Методы восстановления зависимостей на основе наименьших квадратов и наименьших модулей, модели линейной и нелинейной (по параметрам) регрессии, оценивание необходимой степени полинома, различные варианты непараметрической регрессии, дисперсионный анализ, многочисленные модели  планирования эксперимента, в том числе экстремального - весь этот перечень тем заслуживает того, чтобы студенты их изучали. Для этого, очевидно, необходимо увеличение объема преподавания эконометрики, переход от одного к системе курсов, как это сделано, например, в Высшей школе экономики при Минэкономики РФ - "Эконометрика-1", "Эконометрика-2", "Эконометрика-3", "Эконометрика-4"...
	Подчеркнем, что необходимо рассчитывать не только точечные оценки параметров, но и доверительные границы для прогностической функции. Подробно разбираем методы расчета для линейной регрессии с одной независимой переменной. В то же время вероятностной теории уделяется меньше внимания, хотя и дается общее понятие регрессии как условного математического ожидания, описывается ее непараметрическая оценка.
	7. Эконометрические методы классификации. Классификация и прогнозирование. Триада: построение классификаций -  анализ классификаций - использование классификаций. Лемма Неймана-Пирсона и непараметрический дискриминантный анализ на основе непараметрических оценок плотности в пространствах произвольной природы. Линейный дискриминантный анализ Р.Фишера. Многообразие параметрических и непараметрические методов классификации (распознавания образов). Группировки и кластер-анализ.  Методы оценки качества алгоритмов классификации. 
	Построение классификаций называют также распознаванием образов без учителя, автоматической классификацией, кластерным анализом. Использование классификаций - дискриминантным анализом, диагностикой, распознаванием образов с учителем. Целесообразно  познакомить студентов с основными идеями в области классификации, с алгоритмами кластер-анализа (прежде всего иерархическими агломеративными алгоритмами "ближнего соседа", средней связи, "дальнего соседа"), параметрическими (линейный дискриминантный анализ Р.Фишера) и непараметрическими (на основе непараметрических оценок плотностей, построенных по обучающим выборкам) алгоритмами использования классификаций. Полезна теория принятия статистических решений (при известной матрице потерь из-за ошибочной классификации). Анализ классификаций (разбиений) рассматривается позже, как одна из задач статистики объектов нечисловой природы. Важное место в теме занимают методы оценки качества алгоритмов классификации, в том числе метод пересчета на модель линейного дискриминантного анализа, позволяющий проверять обоснованность использования линейных прогностических индексов. Тема связана как с курсом "Теория вероятностей и математическая статистика" ( лемма Неймана-Пирсона), так и с курсом "Статистика" (построение группировок). Другие многомерные эконометрические методы (многомерное шкалирование, целенаправленное проецирование, метод главных компонент, факторный анализ, канонические корреляции, анализ структуры связей и др.) целесообразно рассмотреть при условии увеличения объема преподавания эконометрики..
	8. Современная теория измерений. Шкалы наименований, порядка (ранговая), интервалов, отношений, абсолютная. Проблема адекватности эконометрического вывода. Средние величины, результат сравнения которых инвариантен относительно допустимых преобразований шкалы. Применения к расчету рейтингов.
	Рассматриваются основы репрезентативной теории измерений: определения, примеры, группы допустимых преобразований для основных типов шкал Выдвигается требование устойчивости эконометрических выводов относительно допустимых преобразований шкал. Сравниваются три вида средних (среднее арифметическое, мода, медиана) для зарплаты работников предприятия. Дается определение средних по Коши. Обсуждается "теорема о медиане" - описание средних, результат сравнения которых устойчив в порядковой шкале. Рассматриваются применения "теоремы о медиане" к рейтингам. Вводятся ассоциативные средние по Колмогорову и дается описание средних, результат сравнения которых устойчив в шкалах интервалов и отношений. Рассматриваются иные применения теории измерений к выбору адекватных методов анализа экономических данных.
	9. Статистика нечисловых данных. Различные виды нечисловых данных, связи между ними. Люсианы. Нечеткие множества и их связь со случайными. Метрики (показатели различия), эмпирические и теоретические средние, медиана Кемени, асимптотическое поведение решений экстремальных статистических задач, законы больших чисел, непараметрические оценки плотности в произвольных пространствах.   
	В 1970-х годах стала очевидной большая роль в эконометрике нечисловых данных (объектов нечисловой природы). В литературе имеется достаточно подробное описание различных пространств  нечисловых данных, а также связей между ними [11, 16, 17]. К нечисловым данным относятся  результаты измерений по качественным шкалам (в шкалах наименований и порядка), бинарные отношения (упорядочения, разбиения, толерантности), последовательности из 0 и 1, множества, нечеткие множества и др. Рассматриваем основные связи между перечисленными видами нечисловых данных, элементы теории люсианов (конечных последовательностей испытаний Бернулли с, вообще говоря, различными вероятностями успеха). Даются определения нечетких множеств и операций над ними. Разбираются примеры нечетких множеств, в частности, нечеткие ответы экспертов, и  свойства операций над нечеткими множествами. Анализируется  связь нечетких множеств со случайными. Вводятся метрики (показатели различия) в пространствах произвольной природы - основа методов статистики нечисловых данных. Дан оптимизационный подход к определению эмпирических и теоретических средних в таких пространствах, проведено сравнение со свойствами среднего арифметического, математического ожидания, теоретической и выборочной медиан. Эмпирическое среднее мнений экспертов предлагается рассматривать как итоговое мнение комиссии. Рассматриваются законы больших чисел в произвольных пространствах. Подробнее изучаются бинарные отношения (ранжировки, разбиения, толерантности). Разбирается  их связь с матрицами из 0 и 1 и введение расстояния Кемени между бинарными отношениями.  Рассматривается медиана Кемени, ее асимптотика и свойства при малых объемах выборок и различных предположениях о распределении ранжировок. Вводятся изотропные распределения и устанавливается единственность среднего (медианы).   Устанавливается связь метода средних рангов  с коэффициентом ранговой корреляции Спирмена и линейная зависимость расстояния Кемени от коэффициента ранговой корреляции Кендалла. Разбирается метод "идеальной точки" с использованием средних рангов на примере сравнения математических моделей испарения жидкости. Вводятся расстояния, теоретические и эмпирические средние в пространстве подмножеств конечного множества. Построение эмпирического среднего (итогового мнения комиссии экспертов) проводится по правилу большинства. Вводятся различные расстояния между нечеткими множествами и применяются для усреднение нечетких ответов экспертов. Предлагается использовать непараметрические оценки плотности в пространствах произвольной природы, в частности, для дискретных пространств.  
	10. Статистика интервальных данных. Погрешности измерений и интервальные данные. Нотна - максимально возможное отклонение, вызванное интервальностью исходных данных. Рациональный объем выборки. Их расчет для ряда задач оценивания, проверки гипотез, регрессионного, кластерного и дискриминантного анализов.
	Вводятся операции над интервальными числами и дается обоснование правил приближенных вычислений. Сравниваются по точности расчетов две формулы для выборочной дисперсии. Обсуждается основная модель интервальной статистики. Вводятся основополагающие понятия нотны - максимально возможного отклонения, вызванного интервальностью данных,  и асимптотической нотны (при малой абсолютной погрешности). Дается алгоритм расчета асимптотической нотны для квадратичных функций второго порядка. Изучение влияния интервальности дисконт-факторов на величину NPV (чистой приведенной стоимости, net present value) приводит к признанию интервальности самой величины NPV и необходимости использования экспертных оценок при оценке и сравнении инвестиционных проектов. Разбираются основные результаты статистики интервальных данных, в том числе  рекомендации по нахождению рационального объема выборки. Проводятся расчеты асимптотической нотны, рационального объема выборки и доверительных интервалов при оценивании математического ожидания и дисперсии, а также аналогичные расчеты для ряда задач оценивания, проверки гипотез, регрессионного, кластерного и дискриминантного анализов [18]. 
	11. Проблема устойчивости статистических процедур по отношению к допустимым отклонениям исходных данных и предпосылок модели. Робастные методы статистики. Общая схема устойчивости. Метод складного ножа Кенуя. Бутстреп Эфрона и его критика. Размножение выборок как эффективный способ интенсивного применения компьютеров в эконометрике. 
	Обсуждаются различные робастные методы и модели статистики и эконометрики, в том числе модель Тьюки-Хубера засорения экономических данных резко выделяющимися наблюдениями и модель отклонений на всей числовой оси. Согласно [11] дается формулировка общей схемы изучения устойчивости и разбираются примеры ее применения. Рассматриваются методы размножения выборок (различные варианты бутстрепа): метод складного ножа Кенуя, бутстреп Эфрона [19] и различные варианты их применения   в эконометрических исследованиях.
	12. Эконометрические методы экспертных исследований. Примеры и основные этапы применения методов экспертных оценок. Формирование экспертной комиссии. Метод "снежного кома". Различные виды экспертных процедур (с взаимодействием или без, одно- и многотуровые и др.). Метод средних рангов и метод медиан. Согласование кластеризованных ранжировок. Применение коэффициентов ранговой корреляции, теории люсианов, медианы Кемени и иных методов статистики нечисловых данных.
	Примерами являются процедуры принятия решений о распределении финансирования, при экологических экспертизах, в частности, согласно Закону РФ "Об экологических экспертизах", и др.  Рассматриваем примеры методов экспертных исследований: метод Дельфи, мозговой штурм,  метод средних рангов, метод медиан, метод сценариев, а также следующие вопросы  [20].
	Планирование и организация экспертного исследования как один из видов деятельности менеджера. Сравнение ролей лиц, принимающих решения (ЛПР), и специалистов (экспертов) в процедурах экспертиз и принятия решений. Зоны ответственности Рабочей Группы и Экспертной Комиссии. Основные этапы проведения экспертного исследования как основа деятельности менеджера, организующего экспертное исследование. Экономические вопросы проведения экспертного исследования. Цели экспертного исследования: сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др. Методы формирования состава экспертной комиссии:  списков (реестров), "снежного кома", самооценки, взаимооценки, их достоинства и недостатки. Проблема априорных предпочтений экспертов.  Варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм") или без ограничений). Методы анализа экспертных оценок на основе статистике нечисловых данных. Бинарные отношения на конечном множестве как способы описания ответов экспертов, их  взаимно-однозначное соответствие с матрицами из 0 и 1. Свойства бинарных отношений:  рефлексивность, симметричность, транзитивность, и соответствующие им подпространства бинарных отношений. Аксиоматическое введение расстояния Кемени между бинарными отношениями. Применение теории люсианов, вычисление медианы Кемени и использование иных методов статистики нечисловых и интервальных данных. Согласование кластеризованных ранжировок (ГОГ-метод) на примере сравнения моделей испарения жидкости по экспериментальным данным (при создании банка математических моделей с целью оценки последствий аварий при экологическом страховании). Обобщенный показатель (полезность) объекта экспертизы как функция частных показателей. Методы построения обобщенного показателя.  Два подхода к определению весовых коэффициентов - линейная свертка с коэффициентами, которые оценивают эксперты, и экспертно-статистический метод. 
	13. Эконометрические методы управления качеством, сертификации и классификации продукции. Сертификация и статистический приемочный контроль по альтернативному признаку. Планы контроля. Оперативная характеристика. Приемочный и браковочный уровни дефектности. Предел среднего выходного уровня дефектности. Применение Центральной предельной теоремы и статистики люсианов. Всегда ли нужен выходной контроль? Статистический приемочный контроль по количественному признаку. Контрольные карты Шухарта и кумулятивных сумм. 
	Сертификат качества - необходимый атрибут при маркетинге и сбыте товара. В договорах купли-продажи, создания научно-технической продукции и иных договорах между предприятиями практически всегда имеется раздел "Правила приемки и методы контроля". Эти разделы, как и правила сертификации, часто опираются на статистический приемочный контроль, т.е. выборочный контроль, основанный на эконометрической теории. Необходимость его применения связана с использованием разрушающих методов контроля и с экономической эффективностью,  основанной на сокращении затрат на контроль (в машиностроении они составляют в среднем 10% от стоимости продукции). Основной инструмент анализа и синтеза планов контроля - это оперативная характеристика, т.е. функция, определяющая вероятность приемки партии в зависимости от входного уровня дефектности. С помощью оперативной характеристики определяются приемочный и браковочный уровни дефектности. соответствующие заданным рискам поставщика и потребителя. Расчеты наиболее просты для одноступенчатых планов. Если применяется контроль с разбраковкой, то находят средний выходной уровень дефектности и его предел (ПСВУД), т.е. максимально возможное значение. Выбор плана контроля на основе ПСВУД целесообразен в ситуации, когда потребитель должен быть защищен от проникновения в поставляемую ему партию продукции доли брака, превышающей заданную. Если поставщик и потребитель по-разному оценивают качества продукции в партии, поступившей от поставщика к потребителю, то возникает арбитражная ситуация. Для уменьшения числа споров  используют принцип распределения приоритетов, в соответствии с которым  приемлемый уровень качества для поставщика является браковочным, а для потребителя - приемочным. При достаточно большом объеме выборки (несколько десятков единиц продукции) расчет приемочного и браковочного уровней дефектности для одноступенчатого плана проводим с помощью теоремы Муавра-Лапласа теории вероятностей. Выбор одноступенчатого плана контроля по заданным приемочным и браковочным уровням дефектности также возможен на основе асимптотических соотношений, вытекающих из теоремы Муавра-Лапласа. Ограничения использования экономических показателей при статистическом контроле основаны на том, что последствия отказов изделий типа гибели людей по этическим соображениям нельзя описывать в экономических терминах. Поэтому математические модели типа модели Хальда, учитывающие все виды затрат - затраты на контроль, убытки от излишнего забракования и потери от пропуска брака, - остаются теоретическими. Основной парадокс теории статистического контроля состоит в том, что чем лучше качество и меньше дефектность, тем больший объем контроля требуется. Поэтому естественно поставить вопрос: всегда ли нужен выходной контроль? Сравнение экономической эффективности сплошного контроля и увеличения объема партии; сплошного контроля и замены дефектных единиц продукции в системе гарантийного обслуживания приводит к выводу о целесообразности во многих случаях отказаться от выходного контроля.
	Обычно выделяют следующие виды статистических методов управления  качеством (обеспечения, повышения качества): статистический анализ точности и стабильности технологических процессов (методами прикладной статистики), статистический приемочный контроль по альтернативному и количественному признаку., статистическое регулирование технологических процессов (контрольные карты Шухарта и кумулятивных сумм), планирование экспериментов (в том числе экстремальное, с целью добиться максимального выхода полезного продукта), методы оценки и контроля надежности и проведения испытаний. При контроле по нескольким альтернативным признакам полезно применение статистики люсианов - одного из разделов статистики объектов нечисловой природы. Используют наглядные диаграммы Парето и  диаграммы причин и результатов (известные также как диаграммы типа "рыбий скелет", или диаграммы Исикава). Проблемы управления качеством рассматриваются не только на уровне предприятия, но и на отраслевом, государственном и межгосударственном уровнях. Можно указать на проблемы сертификации производства (отдельной партии продукции, конкретного технологического процесса, всего производства в целом) согласно международным стандартам серии ИСО 9000. На всех одиннадцати этапах жизненного цикла продукции (по международному стандарту ИСО 9004-87). необходимо использование эконометрических методов [21]. В настоящее время наблюдается переход от систем контроля качества, основанных на допусках (системы Тейлора) к системам контроля качества, основанных на функциях потерь (системы Тагути). Организационные вопросы управления качеством делятся на вопросы, решаемые государством (стандартизация, аттестация, сертификация), и вопросы, решаемые общественностью (кружки качества, защита прав потребителей). Развиваются комплексные системы управления качеством продукции, используется серия международных стандартов ИСО серии 9000 и подходы тотального (всеобщего) управления качеством.  
	14. Анализ и прогноз временных рядов. Методы выделения трендов. Спектральный анализ. Оценивание периода. Модели авторегрессии. Системы эконометрических уравнений. 
	Рассматриваются методы наименьших квадратов и наименьших модулей восстановления временных зависимостей. Среди них важное место занимают модели линейной (по параметрам) регрессии. Большое значение приобретает задача оценивания необходимой степени полинома. Полезны модели авторегрессии, в том числе простейшая эмпирическая модель экспоненциального сглаживания. Оценка длины периода может быть сделана на основе методов статистики объектов нечисловой природы путем минимизации в функциональном пространстве. Выделение циклов во временных рядах имеет давнюю историю. Рассматриваются типичные системы эконометрических моделей и примеры их практического применения [22].  
	15. Эконометрика прогнозирования и риска. Статистические и экспертные прогнозы. Неопределенности и риски, их моделирование в эконометрике. Диверсификация и страхование. Принятие решений в условиях неопределенности. Необходимость применения экспертных оценок при оценке и сравнении инвестиционных проектов.
	Среди пяти основных функций менеджмента (по Файолю) первая - прогнозирование и планирование. Из различных видов прогнозов выделим статистические и экспертные, качественные и количественные. К частным видам прогнозирования относятся метод сценариев,  прогнозы невозможности, самоосуществляющиеся прогнозы. Прогнозирование - база планирования. Вопрос о целях предприятия непрост. В частности, требование максимизации прибыли без указания интервала времени некорректно. Выделены этапы процесса планирования работы отрасли и предприятия, практически на всех нужны те или иные прогнозы.. Часто используется иерархия:  миссия и ценности - стратегические цели - задачи - конкретные задания, что соответствует этапам планирования, основанного на прогнозировании: разработка стратегии, бизнес планирование и оперативное планирование.
	Неопределенности и риски сопровождают менеджера постоянно. Разработаны методы декомпозиции риска, в частности, используются деревья причин и результатов (диаграммы типа "рыбий скелет" - см. выше), описания неопределенностей, прежде всего вероятностно-статистические (наиболее распространенные), основанные на теории нечетких множеств и на статистике интервальных данных. Вероятностно-статистические методы описания риска широко используются, тесно связаны с теорией надежности, с вероятностным анализом безопасности (в атомной энергетике). Выделяют риск события (когда риск состоит в осуществлении нежелательного события) и риск ущерба (количественный). Есть ряд вариантов количественной оценки риска: по среднему ущербу (математическому ожиданию), по медиане ущерба, по квантилю, близкому к 1, по линейной комбинации среднего ущерба и среднего квадратического отклонения, по функции потерь и даже по дисперсии  [23]. Плата за риск может быть выявлена при наблюдении за поведением людей, которые обычно стремятся уменьшить риск, например, путем страхования. Плату за риск можно оценить, вычитая среднюю цену акций из цены гарантированных государством облигаций (в США). Один из приемов уменьшения риска - диверсификация деятельности, в том числе диверсификация при управлении пакетом ценных бумаг в условиях риска. Дается понятие о вероятностных моделях страхования, в том числе экологического. Имеются различные подходы к принятию решений в условиях неопределенности: подход пессимиста, основанный на максимизации выигрыша в наихудшей ситуации (это - подход теории антагонистических игр), подход оптимиста (максимизация выигрыша в наилучших условиях), подход на основе среднего выигрыша (возможно, дополненный оценкой доверительного интервала), подход, основанный на минимизации упущенной выгоды, и др. При несовпадении рекомендаций, даваемых различными подходами, необходимо применение оценок экспертов. В частности, имеются различные подходы к оценке эффективности и выбору инвестиционных проектов. С чисто финансовой точки зрения сравнение инвестиционных проектов сводится к сравнению потоков поступлений и платежей. Очевидна необходимость изучения устойчивости (чувствительности) выводов по отношению к отклонениям коэффициентов дисконтирования и величин поступлений платежей. Столь же очевидна  [24] необходимость использования метода экспертных оценок в случае получения противоречивых рекомендаций после проведения анализа чувствительности, например, когда интервалы для используемых характеристик потоков платежей перекрываются (ср.разд.10 выше). 

ЦИТИРОВАННАЯ ЛИТЕРАТУРА

1. Орлов А.И., Фалько С.Г. Методология преподавания эконометрики на экономических факультетах технических вузов. - Международная научно-методическая конференция "Методология преподавания статистики, эконометрики и экономико-математических дисциплин в экономических вузах". Тезисы докладов (2-6 февраля 1999 г., Москва, МЭСИ). - М.: Моск. гос. ун-т экономики, статистики и информатики, 1999. - С.108-109.
2. Долан Э.Дж., Линдсей Д.Е.  Рынок: микроэкономическая модель. - СПб: СП “Автокомп", 1992. - 496 с.
3. Орлов А.И. Что дает прикладная статистика народному хозяйству? // Вестник статистики. 1986, № 8. С.52 - 56.
4. Карминский А.М., Оленев Н.И., Примак А.Г., Фалько С.Г. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях. - М.: Финансы и статистика, 1998. - 256 с.
5. Орлов А.И. О перестройке статистической науки и ее применений // Вестник статистики, 1990, No.1, с.65 - 71.  
6. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. - М.: Юнити, 1998. - 1022 с.
7. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. - М.: Дело, 1997. - 248 с.
8. Катышев П.К., Пересецкий А.А. Сборник задач к начальному курсу эконометрики. - М.: Дело, 1999. - 72 с.
9. Доугерти К. Введение в эконометрику. - М.: МГУ, 1999. - 402 с.
10. Орлов А.И. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория, 1991, т.57, № 7, с.64-66.
11. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
12. Орлов А.И. Неустойчивость параметрических  методов отбраковки резко выделяющихся наблюдений //  Заводская лаборатория, 1992, т.58, № 7, с.40-42.
13. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория, 1985, т.51, №1, с.60-62. 
14. Орлов А.И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? //  Заводская лаборатория, 1999, т.65, № 1, с.51-55.
15. Математическая теория планирования эксперимента / Под ред. С.М.Ермакова. - М.: Наука, 1983. -  392 с.
16. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. -64 с.
17. Орлов А.И. Статистика объектов нечисловой природы //  Заводская лаборатория. 1990. Т.56. №3. С.76-83; 1995, т.61, № 3, с.43-52,  № 5, с.43-51.
18. Орлов А.И. Современная прикладная статистика //  Заводская лаборатория, 1998, т.64, № 3, с.52-60.
19. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. - М.: Финансы и статистика, 1988. - 263 с.
20. Орлов А.И. Экспертные оценки. // Заводская лаборатория. 1996. Т.62. № 1. С.54-60.
21. Орлов А.И.  Сертификация и статистические методы // Заводская лаборатория. 1997. Т.63. № 3. С.55-62.
22. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. - 500 с.
23. Математическое моделирование процессов налогообложения (подходы к проблеме) / Коллективная монография под ред. Н.Ю.Ивановой, А.И.Орлова и др. - М.: ЦЭО Минобразования, 1997. - 232 с. 
24. Орлов А.И. Нечисловые экономические величины и управление инвестиционным процессом. - Современный менеджмент в условиях становления рыночной экономики в России. Тезисы докладов Всероссийской научно-практической конференции 28-29 мая 1998 г. - М.: МГТУ им.Н.Э.Баумана, 1998. С.74-76.